# encoding:utf-8
#!/usr/bin/env python
# @Time                 : 2018/5/23
# @Author               : Zhihong Tang
# @Function             : jieba分词实验---词性标注&关键词提取
# @Version              : python 2.7.13

import sys
reload(sys)
sys.setdefaultencoding('utf8')
import jieba
import jieba.posseg as pseg
import jieba.analyse

str1 = u"我来到北京清华大学"
str2 = u'python的正则表达式是好用的'
str3 = u"小明硕士毕业于中国科学院计算所，后在日本京都大学深造"

result1 = jieba.cut(str1,cut_all = True)       # 全模式
full_model = " /".join(result1)
print u"原句：我来到北京清华大学"
print u'全模式：', full_model
result2 = jieba.cut(str1)                       # 默认是精准模式
print u'精确模式：'," /".join(result2)
result3 = jieba.cut_for_search(str1)            # 搜索引擎模式
print u'搜索引擎模式：'," /".join(result3)
result4 = pseg.cut(str1)                         # 词性标注，标注句子分词后每个词的词性
print u'词性标注：'
for w in  result4:
    print w.word, "/", w.flag, ", "

result5 =  jieba.analyse.extract_tags(str1,topK=3,withWeight=True)   # 关键词提取，参数setence对应str1为待提取的文本,topK对应3为返回几个TF/IDF权重最大的关键词，默认值为20
print u'关键词提取：'
for s in result5:
    print s[0],'\t',s[1]

result6 = jieba.cut(str3)                       # 精准模式
print u'精确模式：'," /".join(result6)